จินตนาการถึงความยากลำบากในการขึ้นรูปสมอง หรือเพียงแค่ส่งบทสนทนาให้มัน ในการยุคก่อนหน้านี้ของภาษาธรรมชาติ (NLP) การปรับโดเมน เป็นกระบวนการที่เหน็ดเหนื่อยของการ การเรียนรู้แบบถ่ายทอด หรือ PEFT (การปรับแต่งแบบมีประสิทธิภาพต่อพารามิเตอร์). เราได้ใช้โมเดลเหมือนดินเหนียว จำเป็นต้องใช้ตัวอย่างที่ระบุชื่อหลายพันตัว เพื่อแก้ไขค่าภายในอย่างเป็นรูปธรรม — ซึ่งเป็นกระบวนการที่ใช้พลังงานคอมพิวเตอร์มาก และทำให้เกิดโมเดลที่คงที่และเฉพาะเจาะจงสูง เช่น BERT

ตัวเร่งปฏิกิริยาของ GPT-3

การเปิดตัว GPT-3 เป็นจุดสำคัญของ ระดับสูงสุด (SOTA) จุดหมายสำคัญ มันพิสูจน์ว่า การเรียนรู้จากบริบท—โดยที่โมเดลสามารถระบุรูปแบบโดยตรงจากคำแนะนำ—มักจะเท่ากับหรือดีกว่าการปรับแต่งเฉพาะสำหรับงานทั่วไป เราได้ก้าวไปสู่ การวิเคราะห์ตามคำแนะนำโดยที่ความล่าช้าและความเสียหายจากการอัปเดตเกรเดียนต์ถูกแทนที่ด้วยการใส่บริบทอย่างมีกลยุทธ์